Вы хотите сделать регрессию, которая будет предсказывать вероятность задержки рейса. В ваших данных есть рейсы со слишком большой и редкой задержкой — до 12 часов. Это портит вашу модель. Как бы вы решали проблему?
Есть несколько вариантов действий,
✔️Исключить выбросы. Можно удалить наблюдения, если они слишком редкие. Но перед этим следует провести статистический анализ, чтобы убедиться, что задержки превышают определённый порог, скажем, 95-й или 99-й процентиль. ✔️Сделать модель более устойчивой к выбросам. Тут можно: ▫️применить регуляризацию ▫️взять другой алгоритм, например деревья решений. ▫️использовать метрики, устойчивые к выбросам: MAE или функцию потерь Хьюбера вместо MSE. ✔️Преобразовать данные. Можно использовать, например, логарифмическое преобразование.
Вы хотите сделать регрессию, которая будет предсказывать вероятность задержки рейса. В ваших данных есть рейсы со слишком большой и редкой задержкой — до 12 часов. Это портит вашу модель. Как бы вы решали проблему?
Есть несколько вариантов действий,
✔️Исключить выбросы. Можно удалить наблюдения, если они слишком редкие. Но перед этим следует провести статистический анализ, чтобы убедиться, что задержки превышают определённый порог, скажем, 95-й или 99-й процентиль. ✔️Сделать модель более устойчивой к выбросам. Тут можно: ▫️применить регуляризацию ▫️взять другой алгоритм, например деревья решений. ▫️использовать метрики, устойчивые к выбросам: MAE или функцию потерь Хьюбера вместо MSE. ✔️Преобразовать данные. Можно использовать, например, логарифмическое преобразование.
#машинное_обучение
BY Библиотека собеса по Data Science | вопросы с собеседований
Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283
A project of our size needs at least a few hundred million dollars per year to keep going,” Mr. Durov wrote in his public channel on Telegram late last year. “While doing that, we will remain independent and stay true to our values, redefining how a tech company should operate.
Telegram and Signal Havens for Right-Wing Extremists
Since the violent storming of Capitol Hill and subsequent ban of former U.S. President Donald Trump from Facebook and Twitter, the removal of Parler from Amazon’s servers, and the de-platforming of incendiary right-wing content, messaging services Telegram and Signal have seen a deluge of new users. In January alone, Telegram reported 90 million new accounts. Its founder, Pavel Durov, described this as “the largest digital migration in human history.” Signal reportedly doubled its user base to 40 million people and became the most downloaded app in 70 countries. The two services rely on encryption to protect the privacy of user communication, which has made them popular with protesters seeking to conceal their identities against repressive governments in places like Belarus, Hong Kong, and Iran. But the same encryption technology has also made them a favored communication tool for criminals and terrorist groups, including al Qaeda and the Islamic State.
Библиотека собеса по Data Science | вопросы с собеседований from jp
